Lệ Xá có chùa Gia Khánh được đặt tại thôn Giai Lệ có từ rất lâu đời.Hàng năm vào ngày mùng 10 tháng 3 âm lịch, làng vẫn thường xuyên tổ chức những hoạt động văn hóa cho người dân vui chơi, gặp gỡ, tìm hiểu thêm về những nét văn hóa truyền thống tại quê hương.Đây là một trong những hoạt động tích cực đã thu hút được sự quan tâm của rất nhiều người con xa quê,cũng là nơi để mọi người trở về tụ họp mỗi khi lễ hội tới.Đình làng Giai Lệ được xây từ thời Lê Thánh Tông (1629) tổng số 28 gian xây theo kiểu nội công ngoại quốc. Trong đình thờ nhị vị đại vương thành hoàng làng, chủ tịch Hồ Chí Minh và các anh hùng liệt sĩ của thôn Giai Lệ.Theo " Tổng tập thác bản văn khắc Hán - Nôm Việt Nam", ở Đình Phí Xá, Canh Hoạch huyện Tiên Lữ tỉnh Hưng Yên có một tấm bia " Phí Xá tôn thần miếu bi" do Tú tài Đào Phổ soạn năm 1863 (Tự Đức 14). Bia mang ký hiệu 19685 - 19686 do Viện Hán - Nôm giữ.Bia ghi lại sự tích ba anh em ruột là Tây Giang đại vương, Nguyên soái đại vương và Ba Phi công chúa, đã có công giúp hai Bà Trưng đánh thắng Tô Định. Sau khi chiến thắng, ba anh em đã về thăm mẹ ở làng Phí Xá, sau đó cả ba đã hóa ở đây. Dân làng thương tiếc đã lập hai miếu thờ. Bia đá cho thấy hai điều, thứ nhất: năm 40 sau công nguyên đã có làng này! Thứ hai: theo cuốn " Đất nước Việt nam qua các đời của cụ Đào Duy Anh thì Xá là nơi ở, Phí Xá là nơi ở của người họ Phí, như vậy sau năm 40 của thế kỷ thứ nhất sau công nguyên, người họ Phí đã có mặt ở làng này.